CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 torchrun --nproc_per_node 8 --nnodes 1 --node_rank 0 --master_addr 127.0.0.1 --master_port 29500 src/train.py --model_name_or_path D:\models\qwen1.5-1.8b --stage sft --do_train True --finetuning_type lora --dataset 任意门实体识别_实体识别 --template qwen --cutoff_len 4096 --overwrite_cache True --preprocessing_num_workers 16 --data_seed 42 --output_dir D:\models\lora_test\任意门实体识别_实体识别_qwen2-1.5B-Instruct_DORA_lora_rank_64 --logging_steps 10 --save_steps 200 --plot_loss True --overwrite_output_dir True --per_device_train_batch_size 8 --gradient_accumulation_steps 4 --learning_rate 1e-05 --num_train_epochs 4.0 --lr_scheduler_type cosine --warmup_ratio 0.1 --val_size 0.1 --per_device_eval_batch_size 8 --eval_strategy steps --eval_steps 200 --lora_target all --lora_alpha 64 --lora_dropout 0.1 --use_dora True --lora_rank 64
CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 torchrun --nproc_per_node 8 --nnodes 1 --node_rank 0 --master_addr 127.0.0.1 --master_port 29500 src/train.py --model_name_or_path D:\models\qwen1.5-1.8b --stage sft --do_train True --finetuning_type lora --dataset 任意门实体识别_实体识别 --template qwen --cutoff_len 4096 --overwrite_cache True --preprocessing_num_workers 16 --data_seed 42 --output_dir D:\models\lora_test\任意门实体识别_实体识别_qwen2-1.5B-Instruct_LoRA+_lora_rank_64 --logging_steps 10 --save_steps 200 --plot_loss True --overwrite_output_dir True --per_device_train_batch_size 8 --gradient_accumulation_steps 4 --learning_rate 1e-05 --num_train_epochs 4.0 --lr_scheduler_type cosine --warmup_ratio 0.1 --val_size 0.1 --per_device_eval_batch_size 8 --eval_strategy steps --eval_steps 200 --lora_target all --lora_alpha 64 --lora_dropout 0.1 --loraplus_lr_ratio 32 --loraplus_lr_embedding 1e-06 --lora_rank 64
CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 torchrun --nproc_per_node 8 --nnodes 1 --node_rank 0 --master_addr 127.0.0.1 --master_port 29500 src/train.py --model_name_or_path D:\models\qwen1.5-1.8b --stage sft --do_train True --finetuning_type lora --dataset 任意门实体识别_实体识别 --template qwen --cutoff_len 4096 --overwrite_cache True --preprocessing_num_workers 16 --data_seed 42 --output_dir D:\models\lora_test\任意门实体识别_实体识别_qwen2-1.5B-Instruct_PiSSA_lora_rank_64 --logging_steps 10 --save_steps 200 --plot_loss True --overwrite_output_dir True --per_device_train_batch_size 8 --gradient_accumulation_steps 4 --learning_rate 1e-05 --num_train_epochs 4.0 --lr_scheduler_type cosine --warmup_ratio 0.1 --val_size 0.1 --per_device_eval_batch_size 8 --eval_strategy steps --eval_steps 200 --lora_target all --lora_alpha 64 --lora_dropout 0.1 --pissa_init True --pissa_iter 16 --pissa_convert True --lora_rank 64
CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 torchrun --nproc_per_node 8 --nnodes 1 --node_rank 0 --master_addr 127.0.0.1 --master_port 29500 src/train.py --model_name_or_path D:\models\qwen1.5-1.8b --stage sft --do_train True --finetuning_type lora --dataset 任意门实体识别_实体识别 --template qwen --cutoff_len 4096 --overwrite_cache True --preprocessing_num_workers 16 --data_seed 42 --output_dir D:\models\lora_test\任意门实体识别_实体识别_qwen2-1.5B-Instruct_LongLoRA_lora_rank_64 --logging_steps 10 --save_steps 200 --plot_loss True --overwrite_output_dir True --per_device_train_batch_size 8 --gradient_accumulation_steps 4 --learning_rate 1e-05 --num_train_epochs 4.0 --lr_scheduler_type cosine --warmup_ratio 0.1 --val_size 0.1 --per_device_eval_batch_size 8 --eval_strategy steps --eval_steps 200 --lora_target all --lora_alpha 64 --lora_dropout 0.1 --shift_attn True --lora_rank 64
CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 torchrun --nproc_per_node 8 --nnodes 1 --node_rank 0 --master_addr 127.0.0.1 --master_port 29500 src/train.py --model_name_or_path D:\models\qwen1.5-1.8b --stage sft --do_train True --finetuning_type full --dataset 任意门实体识别_实体识别 --template qwen --cutoff_len 4096 --overwrite_cache True --preprocessing_num_workers 16 --data_seed 42 --output_dir D:\models\lora_test\任意门实体识别_实体识别_qwen2-1.5B-Instruct_galore_galore_rank_64 --logging_steps 10 --save_steps 200 --plot_loss True --overwrite_output_dir True --per_device_train_batch_size 8 --gradient_accumulation_steps 4 --learning_rate 1e-05 --num_train_epochs 4.0 --lr_scheduler_type cosine --warmup_ratio 0.1 --val_size 0.1 --per_device_eval_batch_size 8 --eval_strategy steps --eval_steps 200 --use_galore True --glore_target all --galore_update_interval 200 --galore_scale 0.25 --galore_proj_type std --galore_layerwise False --galore_rank 64
CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 torchrun --nproc_per_node 8 --nnodes 1 --node_rank 0 --master_addr 127.0.0.1 --master_port 29500 src/train.py --model_name_or_path D:\models\qwen1.5-1.8b --stage sft --do_train True --finetuning_type freeze --dataset 任意门实体识别_实体识别 --template qwen --cutoff_len 4096 --overwrite_cache True --preprocessing_num_workers 16 --data_seed 42 --output_dir D:\models\lora_test\任意门实体识别_实体识别_qwen2-1.5B-Instruct_LLaMA_Pro_freeze_trainable_layers_2 --logging_steps 10 --save_steps 200 --plot_loss True --overwrite_output_dir True --per_device_train_batch_size 8 --gradient_accumulation_steps 4 --learning_rate 1e-05 --num_train_epochs 4.0 --lr_scheduler_type cosine --warmup_ratio 0.1 --val_size 0.1 --per_device_eval_batch_size 8 --eval_strategy steps --eval_steps 200 --freeze_trainable_modules all --use_llama_pro True --freeze_trainable_layers 2
CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 torchrun --nproc_per_node 8 --nnodes 1 --node_rank 0 --master_addr 127.0.0.1 --master_port 29500 src/train.py --model_name_or_path D:\models\qwen1.5-1.8b --stage sft --do_train True --finetuning_type freeze --dataset 任意门实体识别_实体识别 --template qwen --cutoff_len 4096 --overwrite_cache True --preprocessing_num_workers 16 --data_seed 42 --output_dir D:\models\lora_test\任意门实体识别_实体识别_qwen2-1.5B-Instruct_LLaMA_Pro_freeze_trainable_layers_4 --logging_steps 10 --save_steps 200 --plot_loss True --overwrite_output_dir True --per_device_train_batch_size 8 --gradient_accumulation_steps 4 --learning_rate 1e-05 --num_train_epochs 4.0 --lr_scheduler_type cosine --warmup_ratio 0.1 --val_size 0.1 --per_device_eval_batch_size 8 --eval_strategy steps --eval_steps 200 --freeze_trainable_modules all --use_llama_pro True --freeze_trainable_layers 4
CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 torchrun --nproc_per_node 8 --nnodes 1 --node_rank 0 --master_addr 127.0.0.1 --master_port 29500 src/train.py --model_name_or_path D:\models\qwen1.5-1.8b --stage sft --do_train True --finetuning_type freeze --dataset 任意门实体识别_实体识别 --template qwen --cutoff_len 4096 --overwrite_cache True --preprocessing_num_workers 16 --data_seed 42 --output_dir D:\models\lora_test\任意门实体识别_实体识别_qwen2-1.5B-Instruct_LLaMA_Pro_freeze_trainable_layers_8 --logging_steps 10 --save_steps 200 --plot_loss True --overwrite_output_dir True --per_device_train_batch_size 8 --gradient_accumulation_steps 4 --learning_rate 1e-05 --num_train_epochs 4.0 --lr_scheduler_type cosine --warmup_ratio 0.1 --val_size 0.1 --per_device_eval_batch_size 8 --eval_strategy steps --eval_steps 200 --freeze_trainable_modules all --use_llama_pro True --freeze_trainable_layers 8
